Mặc dù Caroline đã được đối xử tốt hơn sau khi bà sinh ra được người thừa kế thứ hai cho vương thất, nhưng George hạn chế cho con gái gặp mẹ mình, cũng như cấm vợ gặp con gái nếu không có mặt các nhũ mẫu và giáo sư của Vương tôn nữ.[12] Caroline có thể đến thăm con gái mỗi ngày một lần nhưng không được phép ý kiến về việc chăm sóc Charlotte.[14] Một số người hầu tỏ ra bất tuân Nhiếp chính vương, họ cho phép Vương phi xứ Wales một mình vào thăm Charlotte mà George không hề hay biết, bởi bản thân ông cũng ít gặp mặt con gái. Caroline thậm chí còn có thể cùng con gái dạo trên đường phố London trên chiếc xe ngựa trước những tràng vỗ tay nồng nhiệt của đám đông.[12]

Charlotte thời thơ ấu là một bé gái khỏe mạnh, theo tiểu sử gia Thea Holme, "Điều ấn tượng nhất từ những mẩu chuyện được ghi nhận ban đầu là Vương tôn nữ vô tư và vui vẻ với một trái tim ấp áp."[15] Khi Charlotte dần lớn lên, cha mẹ bà tiếp tục mâu thuẫn và xem bà như một quân cờ trong cuộc chiến giữa hai người, khi thuyết phục Nhà vua và Hoàng hậu đứng về phía mình.[16] Tháng 8 năm 1797, Caroline để lại con gái rời khỏi Dinh Carlton đến ở trong một dinh thự thuê gần Blackheath. Luật pháp Anh khi đó cho phép người cha có toàn quyền quản lý đối với đứa con chưa đến tuổi thành niên. Tuy nhiên, Thân vương xứ Wales không có hành động nào để hạn chế hơn nữa việc Caroline đi gặp con gái.[17] Tháng 12 năm 1798, Thân vương xứ Wales mời vợ cũ đến ở tại dinh Carlton qua mùa đông nhưng bà từ chối. Đó là những nỗ lực nghiêm túc cuối cùng để hòa giải nhưng bất thành; điều này dẫn đến viễn cảnh George rất ít khả năng có được một đứa con trai hợp pháp có thể xếp trên Charlotte trong hàng kế vị ngai vàng Anh.[18] Caroline đến thăm con gái tại dinh Carlton và thi thoảng Charlotte được đưa đến Blackheath để gặp mẹ nhưng không bao giờ được phép ở lại nhà mẹ quá lâu.[19] Suốt mùa hạ, Thân vương thuê lại Shrewsbury Lodge tại Blackheath cho con gái ông, điều này giúp việc gặp gỡ giữa hai mẹ con dễ dàng hơn, và theo như Alison Plowden, người đã nghiên cứu về mối quan hệ giữa George với vợ và con gái ông, Caroline có thể gặp mặt con gái nhiều như bà mong đợi.[20]

Khi Charlotte được 8 tuổi, cha bà, lúc này đã trở lại với Fitzherbert, muốn rằng ông muốn tự mình sử hữu dinh Carlton. Ông đã kiểm soát nơi ở của vợ (thay vào đó Caroline được nhận nơi ở mới tại Cung điện Kensington), và dời con gái đến dinh Montague, liền kế với Carlton House. Theo như James Chambers, người viết tiểu sử cho Vương tôn nữ Charlotte cho biết bà "sống trong một căn hộ của riêng mình, trong nơi đó không ai không phải trả tiền để được ở đó".[19] Sự di chuyển này diễn ra mà không có mặt của gia sư của Charlotte, Lady Elgin (vợ của Charles Bruce, Bá tước xứ Elgin thứ 5), người rất gần gũi vỡi Vương tôn nữ. Lady Elgin bị buộc phải về hưu, bề ngoài lấy cớ là do tuổi tác cao, nhưng thực chất là George đã rất tức giận việc Lady Elgin đưa Charlotte tới gặp nhà vua mà không có sự đồng ý của ông.[21] George cũng sa thải phụ tá gia sư, bà Hayman, được cho là thân thiện quá mức với Caroline và là tai mắt của vị Công nương xứ Wales. Thay cho Lady Elgin, Lady de Clifford (vợ của Edward Southwell, Nam tước thứ 20 của Clifford), rất yêu thích Charlotte, và quá cởi mở khi giáo dục một đứa trẻ, khiến công chúa trở nên cởi mở và tinh nghịch. Lady de Clifford mang theo cháu trai của bà, Ngài George Keppel, nhỏ hơn Charlotte 3 tuổi, làm bạn thân của Vương tôn nữ. Bốn mươi năm sau, Keppel, khi đó đã là Bá tước xứ Albemarle, hồi tưởng lại những câu chuyện về Charlotte khi còn bé; ngoài câu chuyện về sự tinh nghịch của bà, ông còn nhớ lại rằng họ đã thấy một đám đông tụ tập bên ngoài dinh Keppel tại Cung điện Earl, với hy vọng xem mặt Vương tôn nữ. Hai đứa nhỏ khi ấy đã ra ngoài và gia nhập vào đám đông mà không bị phát hiện.[22]

Năm 1805, nhà Vua bắt đầu tính chuyện học hành của Charlotte, và triệu tập một số lượng trí thức lớn để giảng dạy cho người cháu hợp pháp duy nhất của mình, với Giám mucn Exeter sẽ chỉ dẫn bà về đức tin. Nhà vua tin rằng một ngày nào đó Charlotte, khi là nữ hoàng, sẽ được chúa che chở. Ông cũng hi vọng các giáo viên sẽ "khiến cho cháu của Quả nhân trở nên vinh dự và thuận tiện trong các mối quan hệ, và một phước lành sẽ đến với nó sau khi nó lên nắm quyền".[23] Theo như Holme, việc giảng dạy này không để lại nhiều ấn tượng cho Charlotte, vốn chỉ chọn học những gì mà bà muốn biết.[23] Giáo viên piano của công là nhạc sĩr Jane Mary Guest,[24] và nhờ đó Charlotte trở thành một người chơi đàn điêu luyện.[25]

Caroline, Vương phi xứ Wales khi ấy có những hành vi trái với lẽ thường; năm 1807, có cáo buộc rằng bà đã ngoại tình với một người đàn ông khác sau ngày ly thân. Caroline đang nuôi dưỡng một đứa trẻ, William Austin, người bị cáo buộc là con của Vương phi với một người đàn ông khác. Thân vương xứ Wales hi vọng vào những gì gọi là "Cuộc điều tra tinh tế", rằng những bằng chứng ngoại tình sẽ được tìm thấy để ông có thể li hôn, và cấm Caroline gặp mặt mẹ mình.[26] Cuộc điều tra không thẩm vấn Caroline hoặc người tình tin đồn của bà, nhưng tập trung vào những người gần gũi Caroline. Khi được hỏi liệu Caroline có từng mang thai lần thứ hai không, một số trả lời có, một số nói không, vài người không chắc chắn, và những người khác chỉ ra rằng cân nặng của Vương phi quá lớn nên khó có thể xác định được bà (có thai hay không). Những người đầy tớ xác nhận rằng Vương phi không có tình nhân, mặc dù người hầu của Vương phi, Joseph Roberts, nói rằng bà "rất có hứng thú với tình dục".[27] Charlotte đã đủ lớn để nhận thức được vấn đề. Cô bé 10 tuổi bị tổn thương sâu sắc khi gặp mẹ ở trong công viên, và Caroline, theo lệnh của Thân vương không được tiếp xúc với Charlotte, đã giả vờ như không nhìn thấy con gái.[28] Một nỗi thất vọng sâu sắc đến với George, cuộc điều tra không tìm ra được bất kì bằng chứng nào cho thấy Caroline có một đứa con thứ hai, mặc dù vẫn nhấn mạnh rằng hành vi của Vương phi quá phóng túng nên dễ bị hiểu lầm. Nhà Vua vốn rất thương yêu Caroline, từ chối gặp bà trong cuộc điều tra, nhưng lại bắt đầu tiếp đón bà sau đó.[27] Sau khi cuộc điều tra kết thúc, Thân vương xứ Wales bất đắc dĩ phải cho phép Charlotte được gặp mẹ, với điều kiện không cho William Austin chơi cùng cô.[29]